Lexicographic refinements in possibilistic decision trees and finite-horizon Markov decision processes

Possibilistic decision theory has been proposed twenty years ago and has had several extensions since then. Even though ap-pealing for its ability to handle qualitative decision problems, possibilisticdecision theory suffers from an important drawback. Qualitative possibilistic utility criteria compare acts through min and max operators, which leads to a drowning effect. To over-come this lack of decision power of the theory, several refinements have been proposed. Lexicographic refinements are particularly appealing since they allow to benefit from the Expected Utility background, while remaining qualitative. This article aims at extend-ing lexicographic refinements to sequential decision problems i.e., to possibilistic decision trees and possibilistic Markov decision processes, when the horizon is finite. We present two criteria that refine qualitative possibilistic utilities and provide dynamic programming algorithms for calculating lexicographically optimal policies

MOMDPs: a Solution for Modelling Adaptive Management Problems

International audienceIn conservation biology and natural resource management, adaptive management is an iterative process of improving management by reducing uncertainty via monitoring. Adaptive management is the principal tool for conserving endangered species under global change, yet adaptive management problems suffer from a poor suite of solution methods. The common approach used to solve an adaptive management problem is to assume the system state is known and the system dynamics can be one of a set of pre-defined models. The solution method used is unsatisfactory, employing value iteration on a discretized belief MDP which restricts the study to very small problems. We show how to overcome this limitation by modelling an adaptive management problem as a restricted Mixed Observability MDP called hidden model MDP (hmMDP). We demonstrate how to simplify the value function, the backup operator and the belief update computation. We show that, although a simplified case of POMDPs, hmMDPs are PSPACE-complete in the finite-horizon case. We illustrate the use of this model to manage a population of the threatened Gouldian finch, a bird species endemic to North- ern Australia. Our simple modelling approach is an important step towards efficient algorithms for solving adaptive management problems

Optimising spatial sampling for map reconstruction

National audienc

Une approche ordinale de la décision dans l'incertain : axiomatisation, représentation logique et application à la décision séquentielle

La premi`ere partie de cette th`ese consiste en un ´etat de l’art de la d´ecision dans l’incertain, consid ´er´ee du point de vue de l’Intelligence Artificielle. En premier lieu sont d´ecrites certaines approches classiques de la d´ecision dans l’incertain, dont la th´eorie de l’utilit´e esp´er´ee puis certaines approches non-classiques, num´eriques ou ordinales. Ensuite, nous ´evoquons deux domaines o`u la d´ecision dans l’incertain interagit avec l’IA: Les processus d´ecisionnels Markoviens et leur application `a la planification dans l’incertain et la representation logique des preferences. La seconde partie constitue l’apport sp´ecifique de cette th`ese. Elle est divis´ee en trois sous-parties reprenant les th`emes de la premi`ere partie : 1) Nous ´etudions des crit`eres qualitatifs de d´ecision dans l’incertain prenant leurs valeurs dans une ´echelle finie, totalement ordonn´ee et nous en proposons une justification axiomatique. Ces crit`eres sont bas´es sur une int´egrale de Sugeno qui peut ˆetre consid´er´ee comme une contrepartie qualitative de l’int´egrale de Choquet. Parmi les crit`eres axiomatis´es on retrouve, entre autres, les deux fonctions d’utilit´e qualitative possibiliste propos´ees par Dubois et Prade. 2) Nous ´etudions une contrepartie possibiliste des processus d´ecisionnelsMarkoviens, totalement et partiellement observables et leur application `a la planification sous incertitude et nous proposons un certain nombre d’algorithmes de r´esolution de type “programmation dynamique”. 3) Nous proposons enfin un langage structur´e de repr´esentation des probl`emes de d´ecision sous incertitude qualitative. Ce langage est bas´e sur la logique propositionnelle (valu´ee) et les “syst` emes de maintien de la coh´erence bas´es sur les hypoth`eses” (ATMS). Le langage propos´e s’adapte `a la repr´esentation de probl`emes de d´ecision sous incertitude, non seulement lorsque celle-ci est du type “possibiliste”, mais aussi lorsqu’elle est repr´esent´ee par des “fonctions de croyance”. Des m´ethodes et algorithmes de r´esolution sont propos´es, utilisant des proc´edures de recherche de mod`eles du type Davis et Putnam

Can qualitative utility criteria obey the sure thing principle ?

*INRA, Unité de Biométrie et Intelligence Artificielle, Castanet-Tolosan Diffusion du document : INRA, Unité de Biométrie et Intelligence Artificielle, Castanet-TolosanInternational audienc